Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process
将交错多模态推理统一为决策过程：BRAID框架
🧭 多模态推理 · 统一 MDP · 强化学习优化
Nanjing University · Tencent Youtu Lab · Shanghai AI Laboratory · Tsinghua University · University of Washington
提出 BRAID，把多轮文本-图像推理建模为统一 MDP，用 RL 联合优化文本与图像生成，并引入 VLM judge 提供稠密回合反馈
📌 工作参考价值（4 点）
- 电商多模态 Agent 联合优化：在商品文案配图、展示广告创意生成等多轮交互场景中，可将文本和图像生成纳入统一 MDP，用 RL 同时优化文本 token 和图像扩散去噪路径，避免只微调文本而忽略图像质量的半优化问题。
- 中间图像价值评估：引入 VLM judge 对多轮推理中每一张中间图像打分，提供稠密回合级奖励。在搜索推荐 Agent 的多步调用中，可类似地用 judge 评估每一步生成内容的“推理效用”，改善长程信用分配，加快训练。
- 模态原生策略梯度：BRAID 对文本和图像分别使用各自模态的策略梯度机制，但共享一个轨迹级优势函数。实际实现时，可参照其设计，将优势值统一后注入不同生成模块的损失函数，避免为每个模态单独设计奖励。
- 工程落地参考：扩散模型策略梯度需计算 score function 与 denoising path 的关联，BRAID 提供的实现思路可直接复用到广告图片生成的在线优化中，提升点击率。